VHDLSuite: Pipeline Unificado para Generación VHDL con LLM
Descubre VHDLSuite, un pipeline unificado para generar y evaluar código VHDL con LLMs. Incluye benchmark de más de 200 problemas y validación automatizada.
#evaluación de llm
Marco estadístico de dos etapas para evaluar interferencia asociativa en LLMs
Nuevo marco de dos etapas adapta el IAT a LLMs para separar cumplimiento de consistencia. Revela que la interferencia asociativa varía entre modelos.
Más allá de resolver: UOJ-Bench para evaluar generación, hacking y reparación
UOJ-Bench evalúa LLMs en programación competitiva: generación, hacking y reparación. En una prueba, fallan en detectar >50% errores; con escalado superan >90%.
Métricas Geométricas y LLMs: Qué Miden y Cuándo Funcionan
Descubre qué miden las métricas geométricas en LLMs y cómo pueden mejorar la evaluación de modelos de lenguaje. Un estudio revela cuándo funcionan y sus limitaciones.
Iteración basada en evaluación para aplicaciones LLM
Las mejoras genéricas de prompts pueden empeorar tus aplicaciones LLM. La evaluación iterativa evita regresiones. Resultados con Llama 3 y Qwen 2.5.
CIAware-Bench: Benchmark de conciencia de intervención en LLMs
Descubre CIAware-Bench, el benchmark que mide si los LLMs de frontera detectan intervenciones de control. Resultados revelan baja conciencia y variabilidad entre modelos.
RankLLM: Clasificación ponderada de LLM midiendo la dificultad de preguntas
Cuantifica la dificultad de preguntas para evaluar LLMs con precisión. RankLLM logra un 90% de concordancia con evaluaciones humanas.
CodeTaste: ¿Pueden los LLM generar refactorizaciones de código a nivel humano?
Descubre CodeTaste, el nuevo benchmark que evalúa si los LLM pueden refactorizar código como desarrolladores humanos. Resultados sorprendentes.
Reduciendo costos de evaluación de LLMs con SySRs
Descubre cómo SySRs reduce costos al evaluar LLMs, aprovechando la similitud entre modelos para identificar el mejor sin desperdiciar recursos.
Evaluación de prompting avanzado en Gemini Flash para QA biomédica multi-salto
Evaluamos prompts avanzados en Gemini Flash para QA biomédica. Un prompt complejo logró 0.720, superando al básico (0.565). El diseño de prompts es clave.
Cuando Claude cambió: gestionando el radio de explosión de la IA en producción
Cuando actualizamos Claude, nuestro sistema colapsó. Descubre cómo gestionar el radio de explosión de la IA en producción y evitar fallos catastróficos.
Errorquake: Distribuciones de severidad de errores en LLMs abiertos
El benchmark Errorquake-10k muestra que la severidad de errores difiere en LLMs con igual precisión. Una métrica clave para evaluar modelos de IA.
FinTradeBench: nuevo benchmark financiero para LLMs
Descubre FinTradeBench: evalúa el razonamiento financiero de LLMs combinando fundamentos y trading. ¿Qué modelos destacan?
Brecha de fiabilidad en auditoría de benchmarks: cambio de distribución y escala
Descubre por qué la detección de contaminación en benchmarks de IA falla por cambio de distribución y escala. Estudio con 335 evaluaciones muestra la brecha.
Evaluación del razonamiento relacional en LLMs con REL
Descubre cómo el benchmark REL evalúa el razonamiento relacional en LLMs, revelando sus limitaciones en tareas de alta aridad en ciencias.
¿Pueden los LLM razonar estructuralmente?
Descubre DSR-Bench, el benchmark que revela las limitaciones en razonamiento estructural de los LLM. ¡El mejor modelo solo obtiene 0.46/1!
Límites de los LLM al inferir significado pragmático de respuestas no verbales
Descubre los límites de los grandes modelos de lenguaje al interpretar el significado pragmático de respuestas no verbales. Un estudio revela caídas de precisión de hasta el 60%.